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S -l , j Pr6Sente invention se rapporte au domaine de 

i in ; ell f 9enCe ^"icielle et plus particulierement au 
domaine des modules decisionnels . 

La presence invention se rapporte plus 
partxculierement a un systeme de conception et d'utilisation 
de modeles decisionnels, un modele decisionnel etant un 
modele mathematique capable de prendre des decisions. Le 
systeme selon la presente invention possede des applications 
dans le domaine des jeux videos, cet exemple restant bien 
entendu non llmitatif , 

L'art anterieur connait deja, par la demande de brevet 
francais PR 2811449 (Mathematics Appliquees s.a.>, un 
systeme automatize pour la prise de decision par un agent 
vxrtuel ou physique. Ce systeme autcnatique pour la prise de 
decision par un agent virtue! ou physique en fonction de 
varxables externes provenant d'un environnement decrit par 
«n modele numerique, et de variables internes a l- agen± 
decrites par des parametres numeriques, comprend des moyens 
de selection d ■ actions a exercer par 1' agent a partir d'une 
variation d ■ une ou plusieurs desdites variables. Les 
parametres numeriques decrivant 1' agent virtue! ou physique 
comportent des donnees numeriques representatives de la 
motivation de 1' agent. La selection d' actions de 1 • agent 
vxrtuel ou physique est egalement fonction de la valeur 
desdxtes donnees representatives de la motivation de 
agent. i.e systeme presente dans cette demande de brevet 
PCT Prisente 1 'inconvenient de ne traitor uniquement des 
P^oblematiques de choix binaires d' actions. Par exemple, ce 
systeme n'est pas capable de choisir des parametres utilises 
pour la realisation d< actions. Un autre desavantage de la 
solution de Mathematiques Appliquees vis-a-vis de la 
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presente invention est de ne pas optimiser les ressources 
informatiques mises a disposition. 

La presente invention entend remedier aux 
inconvenienta de 1'art anterieur en proposant un systeme 
automatique de gestion optimale des ressources logicielles 
et materielles utilisees. Le systeme selon la presente 
invention permet de plus de determiner un ensemble idSal de 
parametres pour ehacune des actions. 

A cet effet, la prSsente invention concerne, dans son 
acception la plus generale, un procede automatique pour la 
prise de decision par un agent virtuel ou physique en 
fonction de variables externes provenant d'un environnement 
decrit par un modele numerique ou par des capteurs 
physiques, et de variables internes a 1' agent decrites par 
des parametres numeriques, et des moyens de prise de 
decision commandant les actions dudit agent caracterise en 
ce que ledit moyen de prise de decision determine les 
parametres d'une action au moins dudit agent, en fonction 
d'une partie au moins des variables internes ou externes, 
ladite operation de determination des parametres d'une 
action etant realisee par plusieurs sous-processus de 
decision fonctions chaoun d'une partie au moins desdites 
variables externes et internes, et traitant une partie 
limitee de la problematique decisionnelle generale, les 
parametres determines par chacun desdits sous-processus 
etant traitSs pour construire 1 'ensemble des parametres 
d' action commandant ledit agent. 

Avantageusement, certaines variables internes sont des 
valeurs numeriques representatives de la perception. 

Selon un mode de mise en amvre particulier, certaines 
variables internes sont des valeurs numeriques 
representatives de la motivation. 



01 47 03 67 78 



Rreese Derambure Maj 



11:49:55 22-12-2005 



7 /56 



10 



WO 2005/001758 

PCT/TR2004/00 J 62 7 

3 

selon une variants, certainea variables extarnes sent 
des valeurs numeriques representatives de 1 ' opportunity . 

De preference, le calcul dea par^tres, motivations 
et opportunity est effect par un arbre de blocs de 

I™ 8 ' ChaCUn ^ bl ° C8 ^ traite »~* correspondant a 
une fonction recevant des variables d'entree covenant une 
Partxe des variables internes, et des variables externes et 
des variables de sortie d'un ou de plusiaurs blocs de 
traitements amont. 

Avantageusement, lesdits blocs de traitements 
comprennent des operateurs logiques, des systen.es experts et 
des operateurs mathematiques . 

De preference, le procede compose un moyen 



15 



, , . .£ — u ii moyen 

d xnterruption de ladite operation de determination des 
parametres consistant a commander Paction de 1' agent avec 
les parametres determines a partir des sous-processus 
traites avant 1 ' interruption . 
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Avantageusement, 1'activation du moyen d ' Interruption 
est commandee en fonction de Petat d'un compteur de 

uL a iLT ntS d#Cr6mentS dU "** de Cha ^- ^ de traitement 

De preference, le coflt d'un bloc de traitement est 
determxne par un paran.etre numerique representatif du temps- 
machxne necessaire a 1' execution du traitement dudit bloc 

Avantageusement, ledit parametre numerigue 
representatif du temps-machine est determine de maniLe 
relative par rapport aux cofits d'une partie au moins des 
autjres blocs. 

Selon un mode de mise en amvre particulier, ledit 
moyen d ' interruption eat r.™,™ 

M £tre. ^ du 

De preference, le procede compoxte des 
.nt^tio. du systtoe Mltre aprSe ohaque deterBlnation 
d un ensile de parametres pour une action, et d-activatlon 
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dudit moyen d ' interruption en fonction de la reponae du 
systeme niaitre a cette interrogation. 

De preference, la precede comporte des moyens 
d'ordonnancement des sous-processua par ordre decroissant de 
1 ' activation . 

Avantageusement, le precede comporte des moyens 
d'enregistrement de l'etat des arbres de calcul, des 
actuateurs et des sous-proeeesus lors de 1 ' interruption, et 
des moyens pour la poursuite du processus decisionnel a 
partir des informations enregistrSes . 

Selon une variante, plusieurs agents sont commandes a 
partir d'un modele decisionnel commun, ledit modele 
decisionnel comportant un moyen d'enregistrement des 
informations specif iques a chacun des agents. 

Avantageusement, le precede ne comporte pas d'etapes 
d' allocation dynamigue de memoire pendant le traitement du 
modele decisionnel. 

De preference, le precede comporte des moyens de 
traitement des dependences logiques entre les sous- 
20 processus. 

Avantageusement, ledit moyen de traitement des 
dependances logiques consiste a modifier 1' activation du (ou 
des) sous-processus maitre(s) en fonction de la plus haute 
activation des sous -processus dependants. 

De preference, le precede realise le traitement de 
variables externes multivaluees issues de differents objets 
percus de 1 ' environnement . 

Selon un mode de mise en ceuvre particulier, les 
valeurs de sortie d'un bloc de traitement sont memorises au 
cours du cycle de traitement si elles sont utilisees par un 
autre sous— processus • 

Avantageusement, lesdites valeurs de sorties sont 
enregistrees dans une memoire commune a plusieurs blocs de 
traitement . 
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De preference, l e procede comporte un moyen de 
recalculer une ou plusieurs aorties d'un bloc de traitement 
dans le caa ofc la m&noire commune est saturee. 

De preference, le procede comporte un moyen de 
■ realisation d'un niveau de detail comportemental . 

Avantageusement, le precede comporte un mecanisme 
d' adaptation convergent quelle que soit la nature du signal 
d * apprentissage . 

Selon un mode de mise en euvre particulier, 
1' apprentissage est realise par un processus stochastique 
base sur la distribution de PISK. 

De preference, le precede comporte des moyens de 
regroupement et d ' enregistrement de souvenirs consfcitues 
d' informations correspondant a des perceptions ou a des 
result ats d'arbres de calcul. 

Avantageusement, le precede comporte une etape de 
regroupement des souvenirs sous forme de strates. 

Avantageusement, le procede comporte une etape de 
reconnaissance consistant a selectlonner les souvenirs 
actif s . 

Selon une variante avantageuse, le precede comporte 
une operation de creation d'un nouveau souvenir dans le cas 
d' absence de reconnaissance parfaite. 

Avantageusement, le proced<5 comporte une operation de 
mise a jour des souvenirs actifs par remplacement des 
informations ^orisees par l<etat des informations 
calculees. 

De preference, le precede comporte une operation de 
calcul de la fiabilite des informations des souvenirs mis a 
jour. 

Selon un mode de mise en amvre particulier, le precede 
comporte des moyens de connexion entre les souvenirs et les 
actuateurs de la strate. 
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Avantageuseaent la connexion s'effectua grace a des 
arbres de calcul generiques, communs a tous lea souvenirs et 
utilisant ies informations du souvenir. 

Selon une variante, le procede cooporte des moyens de 
liaison entre les souvenirs pour la creation des influences 
entre les souvenirs. 

Selon une variante, le procede comports une etape de 
propagation des influences entre les souvenirs par le biais 
de liaisons. 

Selon un mode de mise en ceuvre particulier, le procede 
comporte une optimisation des mises & jour des influences 
limitees aux influences ayant subie une alteration. 

Selon un mode de mise en ceuvre particulier, le procede 
comporte une etape de transmission des informations 
15 modifiees au reste du modele ddcisionnel. 

Avantageusement, le procede comporte un moyen de 
transmission des informations modifiees par la creation d'un 
ob jet virtuel. 

De preference, le procede comporte un moyen de 
transmission des informations modifiees par la surcharge du 
resultat d'un bloc de traitement. 

De prSf^rence, le procede comporte un mecanisme de 
gestion automatique du nombre de souvenirs utilises 
consistant k supprimer le souvenir le moins utile. 
25 Selon une variante avantageuse, ledit mecanisme de 

gestion automatique du nombre de souvenirs est 
per sonnali sable lors de l'6tape de conception. 

Avantageusement, le procede comporte un mecanisme de 
gestion automatique du nombre de liaisons utilisles 
consistant a supprimer la liaison la moins utile. 
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On comprendra mieux 1' invention a l'aide de la 
description, faite ci-apres a titre purement explicatif, 
d'un mode de realisation de 1 'invention, en reference aux 
35 figures annexees : 
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Percept™"""" ' — *"»pe de 

xo 9i9U ; e, 1 :. irr. : iiiustre - - ~ 

un p.^ f ±9Ure 4 illU " re d " * 

aecrit par sa structure ^+ 
de t er» in . de syraboles fonctlonnele . 

derations de symbolee fonotionnels ,fi n da , 

- ^ de S c ri p tion d , un ^ d rjr ia t; r r 

1' invention. rSalxaation de 

Nous noimnexons dans la suite t 

centre d'inter-et un sous 

"uus— processus ne 4. 
gu-un seul des aspects d U p robltoe decisional , 

ordre un rfaultat iseu d'un c «ntr. H., . • 
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facon d'executer 1'ordre, et eventuelleznent une reference 4 
un ob jet cible de l'ordre. 

Dans la auite de l a description, les actions ou 
5 actuateurs decrivent les solutions du models decisionnel et 
!ptILT nt traitement8 de la termination de l- ordre 

Les perceptions ou sen.eurs permettent de recuperet 

10 eZ ^ nf °" nati0nS tenant du system maltre, indispensables 
10 aux traitements des centres d'interet. 

° n Sntend *** bl ° C «• traitement ou module spficifi^ 
de traitement un bloc effectuant une fonction 

»o tA ^ ChagUe CentrS d ' int ^ t est la notion de 

motivation. Celle-ci mesure l'ini-6r^ 
15 a satis ^s^ , interet du modele decisionnel 

a satisfaire le centre d'interet correspondant . 

Pour chacun des actuateurs auxquels un centre 

d'interet est lie, on definit 1 ' opportunity comme , 

t / • ^ ^ "Fpomunite comme la mesure 

e 1 d '°" "*»» (appartenent a 

1 -..o^t, pour le centre d-interUt correspondent. 

d-int/T Chae " n auxguels un centre 

d rnteret est lie, on definit un ncnbre rini de p„ m4lt „ 

represent 1. configuration i utiliser pour !• ejection de 
1 actu.t.ur pour 1. centre d- intent correspondent. „„ 
P«ra«»tre pent Sgeie^ent etre qualifie d'int.«si«. 
« L-interet de 1-ordr. est le produit d. la motivation 

du centre d-inter* par 1 - opportunity . XX pent done etre 
distent pour chague couple (centre d-intSrSt, actuateur, 

Toutes les valours (Motivation, opportunity, 
30 Pa " mS " e) S ° nt «*»M~ P« des arbres de calcul. Ces 
30 arbre, de calcul sent des grapnes d. tvpe arbre dont la 



les 



35 



racine designe la valeur a calculer et les feuilles 
valeurs utilises (perceptions, pour ce calcul. 

matH' arb " S ^ CalCUl 6ffect — <»•• fonctions 

mathematlqUea SUr 163 -^"nations en entree (perceptions, 
au moyen des blocs de traitement. La structure de I arbre 
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determine ainsi 1- ensemble des calcula a effector. De par 
la nature graphigue de la conception, lea calculs sont 
factorxeea en reutiliaant un bloc de traite men t dana 
plusieura arbres de calcul. ceci permet de conaerver l a 
structure minxmale (totalement factorial, dea calcula. Ceci 
est xllustr6 Figure 1. 

Dans notre example, lea perceptions peuvent etre 

ZZ?Z*T ^ liSte d '° bjeta ' Cha ^ e pouvant 

etre decrit par un eneemble finl de perceptions. L ea objets 

d C " tS Par 168 m%m *» Perceptiona appartiennent a la meme 
classe d'objets. L'enaemble des perceptions decrivant una 
classe d'objete fo rae un gro « P e de perceptions, comme 
l'illustre la Figure 2. 



15 



Pour des raisons d-econemies de ressourcee evidence, 
les ^odeles decisional, ne peuvent tr.iter air^, d=s 
""t"""" -'«**—. »» -«.t, si o o bj ets sont per S us, »• 
ocnninaisons devralent etre trltto. Cependant, il est 

L°." lbl : r e ° rtai " 88 *° —inarson. en 

" e03t 0bi ' tS * 18 — * - centre 
d rntfeet, our sera elors charge d-.valuer les co„ni„aiso„s 
possibles avec cet objet. 
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° n dit <I«'il y a una dependence l ogique entre de(JX 
centres d'xnteret (A dependant de B) lorague : 
B est connects a un actuateur ACT 

' ACT modifie le traitement effectue par un arbre de 
calcul utilise par A. 



30 LeS dlpendances logigues cycligues 



coupees par le system, la prise en copte 
de la dependence n'aura lieu qu-au cycle suivant. r.a ccupure 
est effectu^e une senip -f^4 ~ 

decisionnel. ' ™ ° h " 9e "" e " d ° — 
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Un ensemble d'actuateurs et un ensemble de centres 
d'interet forment une couche s'ils sont Isolds des autres 
centres d'interet et actuateurs, ou si leurs seuls liens 
sont des dependances logiques. 

5 La Figure 3 illustre les notions de couche et de 

dependance logique . 



10 



15 



Lorsqu'une couche A voit son traitement modifie par 
une autre couche B (dependance logique) au tr avers d'un 
actuateur ACT, on dit que B est maitre de A. On considers 
que B envoie des ordres a A. Pour des raisons d' economies de 
ressources, il est possible de forcer 1' actuateur a appeler 
une fonction du systems maitre, cette operation remplagant 
alors la modification de la couche A. On dit alors que A est 
plus detaillee que B. On cree ainsi deux niveaux de detail 
comportementaux. Un mecanisme adapte mis en place au sein de 
1' actuateur permet lors de 1 ' utilisation du models de 
specifier le niveau de detail comportemental dSsire. 

20 on appelle cycle de « reflexion » 1 ' utilisation du 

modele decisionnel pour obtenir une decision. Durant le 
cycle de reflexion, les informations fournies au modele 
decisionnel sont invar iantes. 

L' activation represents 1 ' importance pour le modele 
decisionnel de traiter le centre d'interet correspondant . 
Bile est determinee en integrant la motivation du centre 
d'intiret par rapport au temps (les cycles de reflexion). 
Bile est remise a zero lorsque le centre d'interet est 
traite. Elle favorise 1' execution de tous les centres 
d'interet selon 1'historique de leur motivation. 

Certains centres d'interet sont des automates, ils ne 
possedent pas de motivation (pas d ' activation ) . lis heritent 
de la plus forte activation des centres d'interet 
dependants. A cet heritage est ajoute un « epsilon ,, (nombre 
35 positif tres proche de zero). Ce mecanisme garantit que les 
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d*pendances automatizes (centres d'intSrets * 
MMr »' °°nt tral M . s avant "„! a«°»ates 

^pendants. centres d'int^rat 

La motivation n'eqt 
5 perceptions, car alia " ——4. a „„ 9roupe de 

/ e±±e se rapporte a 1 

I'entit. co„, id<rt9 ntillaant le „ odai " d r T a ^ 
appartenant au systeme „ ltte . Ainsi ° a "° d *°"*°»n.l 
1-activation peuvan* a* , -otivation puia 

on peuvent .tie rapldenent calculeaa 

rr * t sont alora trait :/:::/:rr;; a rrr 

forte activation a i a P i us faible _ ' de la plua 

aeoiaions cohirentes mSmo i 
decisional est interrom™ Processus 

. c mterrompu avant d' avoir trai^ ^- 

15 centres d'interet , traite tous les 

- syst to e a f ^^1^ " ~ 

maintanant una certaine cohfc.no.. XM ° ria ** ibl ° en 

- X- invention sent a«*~I*a^^^ 56100 
d'interets. L'oMaetif , , n "We par les centres 

sont conn.cta«. Pour ce fair. <, ™" au ^ls ils 

oaic U1 Q « inia lora °; e £ ";:; pe " s d ; tiliae " «*~ 

25 decislonnel. * oonception da model. 

Lea autrea tr.item.nts aont realises ,„ 
actuates, xis concernent la 9 estion des ordr.s 

30 ~J^rzZL.*T^r - — * --at 
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souhaita. L es actuateurs etant "ndee „ ' 
-acanism. local su f tit pour la deTjT 
satis.aisant 1 . ensenlble ^ :°r." 10n d ' U " — « 

«e concertaticn antra ImT ^T. """ 1 '- °*" 
necassaira, ce cui con* "'est dene pas 

Ce* calcals * una optimisation 
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Un mecanisrae local d' influence entre les ordres permet 
a 1 1 actuateur de determiner une solution globale. Pour 
mesurer 1' influence d'un ordre A sur un ordre B, 1' actuateur 
calcule la complementarity de A vis-a-vis de B. cette 
5 complement arite est comprise entre 0 (ordres incompatibles) 
et 1 (ordres totalement compl^mentaires) . Elle pondere 
1'interet de A re<ju par B. La compiementarite est calcuiee 
en faisant appel a une fonction definie dans le syst&me 
maxtre . 

10 Ii ' ordre qui poss&de aprds influence 1'interet le plus 

eieve sera execute. Avant cela, il est n£cessaire de 
calculer les valeurs optimales de ses param^tres . Chaque 
param^tre est decrit par trois valeurs s 

la valeur initiale p du paramdtre 
15 - une valeur jn reprfsentant une marge dans laquelle 

les valeurs du parametre sont consider^es comme ideales 

une valeur 3 representant une marge de security 
dans laquelle les valeurs du parametre sont eiigibles mais 
moins interessantes . 
20 Figure 4 repr^sente 1 'ensemble des valeurs 

possibles decrit par (p, m, s) . 

La valeur optimale de chaque parametre est comprise 
entre (p-m-s) et (p+in+s) • On utilise 1' inter et comme critere 
de selection* On calcule, pour chaque valeur possible, 
25 1'interet cumule (provenant des differents ordres). La 
valeur optimale est alors designee par la valeur possedant 
l'interet cumule le plus important. S'il s'agit d'un 
segment, soit l'une des deux valeurs extremes, soit la 
valeur correspondant au centre du segment est seiectionnee. 
30 La Figure 5 illustre le calcul de la valeur optimale 

d'un parametre. 



Pour des raisons de cout memo ire , chaque actuateur ne 
peut gerer qu'un norabre limite d' ordres (nombre fixe par 
1 'utilisateur lors de 1'etape de conception). Un procede 
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interne de fusion dee ordrea permet de respecter cette 
Ixmate sans perdre trop d ' informations . Ce precede suppri me 
1' ordre le moins interessant et possedant la complementarity 
la plus elevee. Son influence sur 1< ordre dont il est 
5 complemented est def initivement integree dans ce dernier 
En d'autres termes, il s , agit de determlner le ^ 
d'ordres (A, B ) pour lequel la complementarity est la pl us 
elevee. on supprime alors 1'ordre A et on modifie 1' ordre B 
af.n de prendre en compte 1'lnteret de A. si deux couples 
(A, B, et (C rD , possedent lea memes complementarity, on 
supprlme de A ou de C celui qui possede le plus faible 
inter et . 



15 



25 



30 



Chaque actuateur integre une notion de persistence, n 
exxste trois persistences possibles, qui modifient son 
fonctionnement s 

• a " nl ' t "' ' !«■ son* exe=u t ee d±r.= t e„.„ t 

d4s g u ±la sont re , U3 par l . mMmbmax sans uc 

2 0 r^Vr < " 1 "" UenCa ^""Vienna. XI. son* ensuite 
20 effac§s du syst^me. 

- ^«ista»t . les ordrea ne sont conserves que 
durant le cycle de reflexion. Xls sont effaces au debut de 
chaque nouveau cycle . 

5tatiSM 1 les ordres sont conserves entre les 
cycles de reflexion, a chaque ordre est associe un arbre de 
calcul particulier nomme satiate (comprise entre 0 et 1, Au 
debut de chaque nouveau cycle, le complementaire a l de la 
valeur de la satiete pondere 1'lnteret de 1' ordre. Si la 
satiete est elevee, 1'i.nteret est faible, ce qui provoque la 
fusxon de Pordre. Un ordre d'interet nul est immediatement 
efface . 



Apres .voir «cr it le s,.canis.,e de s«ectio a 
d actions, nous allons nous attacher dans une seoonds parti. 
J5 a examiner le mficanisme d'adaptation. 




ft' 
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^ adapt^^ ce^ na*«r«-ne, P 4ut utilise ^e' PPU * 

1 - 8 ". ar ^ de ' calcul **** aux^axa^etW <* valeur eicacte et 
, no^^t^ re*ati*e£~ oette deriiiere * decrivant^ la- 
motivation et^l 'opportunity " w <>' '■ 

- f i a < na t«re^atR^tiqoe - du ' jugement' (continu ouf 
discr **> aiTOl^ *ou dichotWque) > ^uenc^ de ^aai6re 
sxgnificativeMa convergence de- 1 Adaptation. Le iecanisme 
d/ adaptation mis- ezr place au niveau du 6ioc de trait ement 
adaptatif doit absolument fonctionher guelle gue *oit la 
nature du jugement regu . 

' L,adaptati6n au aein d °* Woes de traitement adaptatif 
s'effectue en faisant varier les parages d'apprentissage. 
Ces Parametres sont utilised lors du" traitement effectue pax 
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le bloc. En lea fai3ant varierf Qn modifie ce tra . tem 

Lea valeurs possibles de ces parages doivent appartenir a 
un ensemble fi„i, bor „e et ordonne. 

Chaque bloc de traitement adaptatif est caracterise 
Par one *iabili te qui mesure ^adequation du bloc avec les 

r6nCOntr6e8 - E11 « -* uprise entre 0 et 1. 
est calculee selon la formula suivante : 

Soit e l'erreur mesuree 



1+1 



si »i».(H*lUtC - H*U1^ > e , ,l„ rs n . n 

calfl ^ a n ° UVelle d'un paranultre d > apprentissage est 

calculus selon la formule t 

15 soit e l'erreur associee au signal, 

Soit f la fiabilite du bloc, 

Soit a la valeur actuelle du paramfetre, 

Soit p un nombre aleatoire compris entre 0 et 1, 



20 



Valeur =>a + e *(!-_/)* /- £ 



dite d L VT elle Val6Ur aAn3i CalCUl ^ 8Uit 13 <^ibution 
dxte de Fxsk, qui ^ stre rendue 8ymStrigue< 

considerons trois exiles de blocs d • apprentis sages : 

• Le bloc d' apprentissage ponderation 

25 . Le bloc d' apprentissage pluri lineaire 

• Le bloc d' apprentissage neural. 

Le bloc d< apprentissage ponderation ne possede gu'un 

30 de L'Tr d ' aPPrentiS — Ce Wo. possede deux Ides 

30 de fonctxonnement selon qu'il possede ou non una entree . 
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• Mode pond6ration : ai le bloc possdde una entree, il 
pondfcre alors son entree par son paramfctre d' apprentissage 
(produit) 

• Mode generation : si le bloc ne possede pas 
5 d' entree, il renvoie simplement son parametre 

d' apprentissage, comme si son entree 6tait 1. 

X. ' apprentissage du param&tre d ' apprentissage 
s'effectue simplement en appliquant a la lettre les 
indications precedentes. Lorsque le bloc recoit un signal 
d ' apprent i s s age : 

• 11 utilise la moyenne des valeurs d ' entree 
references 

• La reference d ' apprentissage est obtenue en 
multipliant cette moyenne par le parametre d' apprentissage 
actuel 

• L'echelle s'obtient classiquement en fonction de la 
fiabilite et du signal 

• Le nouveau parametre d' apprentissage est obtenu en 
20 divisant la valeur apprise par la moyenne des valeurs 

d' entree references. 

Soit 1 la moyenne des valeurs d' entree references, 
Soit w la valeur du paramdtre d' apprentissage , 
25 Soit e l'erreur associee au signal, 

Soit f la fiabilite du bloc d ' apprentissage, 
Soit w ' la nouvelle valeur du parametre 
d ' apprentissage , 

Soit a la localisation , 
30 soit b l'echelle, 

On as a — w*l 

b - e*(l-f) 
W m (a + b*Fisk)/ 1 
35 etl ceci, quel que soit i non mil. 



01 47 03 67 78 Breese Derambure Maj 

WO 2005/001758 



17 



11:54:53 22-12-2005 
PCT/FR2004/00162 7 



21 /56 



Concernant le bloc d' apprentissage pluri lineaire, le 
concept est de decomposer la fonction ideale en un ensemble 
5 de segments, appeles segments d ' apprentissage . chaque 
segment d' apprentissage approxime une portion continue de la 
fonction ideale. il possede sea propres parametres 
d' apprentissage : pente et ordonnee a 1' origins. Ce bloc 
d' apprentissage regroups ainsi plusieurs parametres 
10 d'apprentissage : les pentes et les ordonnees a 1'origine 
des segments d' apprentissage. 



15 



Soit a la pente, 

Soit b 1 'ordonnee a 1' origins, 

y - a*x + b 



Cheque segment d ' apprentissage comprend deux limites 

20 T d 4 6 ? niti0a * " enre * ist " «»• -yenne des valeurs 
20 entree utilisees correspondant a ses l im i tes de 

dGfinition . 

Le segment calcule la valeur de sortie ideale come 
precedemment. i.a valeur d' entree memorisee correspond en 
fait a la moyenne des valeurs d< entree utilisees. Un nouveau 
poxnt d< apprentissage est cree. Le bloc d ' apprentissage 
effectue alors une scission du segment d ' apprentissage 
concern* au point d'entree utilise, xl cree ainsi deux 
segments d < apprentissage a partir d'un seul . La figure 6 
resume le f onctionnement de cette scission. 

3 0 Les parametres d < apprentissage sent alors calcules 

comme suit : 



soient X l et yl l es coordonnees du premier point 
d ' apprentissage , 
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Solent x2 et y2 les coordonn6es du second point 
d ' apprentissage , 

Soit a la pente de liquation lineaire, 
Soit h l'ordonnee h 1'origine de 1' Equation lineaire, 
a » (y2 — yl)/(x2 — xl) si deux points d' apprentissage 
a — 0 sinon 

b xl+a + yl si un point d ' apprentissage 
b » 0 sinon 



10 Le nombre maximum de segments est defini lors de 

1 ' et ape de conception . 

Lor a que ce nombre est depasse, le bloc d' apprentissage 
procede a une « fusion ». La fusion consiste a choisir l'un 
des points d^limitant deux segments d' apprentissage et & 

15 l'61iminer. Les deux segments adjacents recalculent alors 
leur parametre d ' apprentissage en consequence. La fusion 
correspond a une perte d ' information pour le bloc, XI va 
done minimiser cette perte. Cette perte est liee £ plusieurs 
f acteurs : 

20 * FiabilitS du segment d' apprentissage : plus le 

segment est fiable, moins il est pr6f erable de le modifier. 

• Surface du triangle forme par les extremites du 
nouveau segment et le point a eliminer : cette surface 
represente 1 ' information perdue lors de 1 'elimination perdue 

25 du point concerne. 



Elle se calcule selon la formule : 



Soit f la fiabilite, 

Soit 1 la difference entre les abscisses, 
Soit h la difference entre les ordonn£es, 

Information = (l/2)*f*l*h 
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La pi * ure 7 montre comment s' applique ce processus de 
fusion. 

Le bloc d'apprentiasage neural se decompose en deux 
fonctions. La premiere utilise lea parametres 
d'apprentisaage pour ponderer lea entries du bloc : un 
Param&tre d'apprentiasage par entree. Elle les combine en 
effectuant une some. La seconde permet de seuiller la 
sortie. Par defaut, cette sortie est une sigmoide. 

s °it tm* la fonction de modification du rSaultat, 
Soit f eoab la fonction de combinaison des entrees,' 
Soit k la raideur de la sigmoide 

f**a(x) = (exp (k*x) — exp (k*x) + 1) 

fcomb (*) - ^ entree, * w, 



20 



25 



30 



L'apprentissage s'effectue pour chacune des entrees. 
Le signal d' apprentissage regu par le bloc d' apprentissage 
est done utilise par toutes lea entrees. La reference 
d'apprentiasage est la moyenne dea valeurs utilisees depuis 
le dernier signal d'apprentiasage. L'echelle se calcule 
comme precedemment. 

Le resultat de l'apprentissage est alors une nouvelle 
valeur pour le parametre d'apprentisaage. Deux grandes 
diff6rences de f onct ionnement distinguent le bloc 
d'apprentiasage neural, d'un neurone classique : 

• L' utilisation de la fiabilite : les reseaux de 
neurones utilisent un facteur d'apprentisaage aimilaire 
herite des methodes de recuit simule (alors appele 
temperature,. La fiabilite permet de remplacer ce parametre 
avantageusement. Sa valeur depend en effet des signaux 
d' apprentissage regus, et n'est done pas arbitraire. 
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• Un apprentissage stochastique : il est possible de 
rendre le bloc d ' apprentissage neural non stochastique. 
Cependant, la convergence peut alors se heurter a la 
pauvretS de certains signaux d' apprentissage. Lea reseaux de 
5 neurones conventionnels utilisent en ef fet un signal 
d' apprentissage continu mesurant 1'Schec. 

Aprfes avoir dScrit lea mSeanismes de selection 
d'actions et d ' adaptation , nous allons Studier la 
10 mod61isa-tion et la planif ication dynamique- 

On distingue deux concepts permettant la creation d'un 
modele aussi riche que souhait6 : 

• Le souvenir z il permet de m^moriser un ensemble 
d' informations. Cet ensemble repr6sente un concept du 

15 syst&me maitre, Chacun de ces ensembles d' informations 
d£crit une classe de souvenirs. 

• La liaison * elle permet de d^crire les influences 
qui modifient les souvenirs lies entre eux. 



20 



25 



30 



La liaison s'apparente en r£alit£ a un actuateur qui 
va modifier les informations d'un souvenir. Ces 
modifications sont engendr^es par les souvenirs qui vonfc 
done envoyer des ordres a 1' actuateur liaison. Les souvenirs 
sont done des centres d'int^ret. 

Chaque souvenir appartient a une classe d6termin£e qui 
specif ie les informations qu'il contient. Ces classes sont 
appel€es classes de souvenir- Tous les souvenirs appartenant 
h. une meme classe foment une strate de souvenirs. 

Les souvenirs appartenant k une meme strate sont crees 
par un actuateur appel<§ « actuateur memoriser ». Chacun de 
ces parametres determine la valeur d'une information du 
souvenir. 
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L6S informations mWisfies dans un souvenir 
proviennent d'arbres de calcul. Elles sent done plus ou 
moins directement issues des percepteurs. 

« L'actuateur memoriser », lors de son execution 
5 propose aux souvenirs existants la creation d'un nouveau 
souvenir, cheque souvenir existent va alors essayer de 
s' identifier dans le souvenir propose : c-est 1'etape de 
reconnaissance „ 

on appelle objet reference du souvenir ou plus 
10 sxmplement reference du souvenir un identifiant provenant du 
systeme maitre et designant 1'objet source qui est a 
1'origine du souvenir. 



20 



25 



30 



La reconnaissance 



s 



'effectue au moyen d'un arbre de 



35 



calcul specifique appele arbre de reconnaissance, concu pour 
15 cheque strate de souvenirs. En cas d'absence de cet arbre 
le systeme precede a une reconnaissance directe par 
reference . 

Si aueun souvenir ne se reconnait parfaitement dans le 
souvenir propose, un nouveau souvenir est cree. Ce nouveau 
souvenir s'identifie done parfaitement au souvenir propose. 

Tons les souvenirs parvenant a s ' identifier , meme 
partxellement, au souvenir propose devxennent les souvenirs 
eotifs. ces souvenirs ne peuvent transmettre leur influence 
aux autres souvenirs. Ce sent les receptacles des influences 
des autres souvenirs. 

les souvenirs actifs modifient leurs informations pour 
eorrespondre parfaitement au souvenir propose. Cette etape 
correspond a la mise a jour des souvenirs. 

Cheque information regroupe trois valeurs distinctes : 
- L' information memorisee (information de reference) " 
cette valeur correspond au resultat de 1 'arbre de calcul 
lors de la derniere memorisation. 

• L' information modifiee (information chargee) : cette 
valeur correspond a 1 • information memorisee (information de 
reference), modifiee par les souvenirs lies. 



01 47 03 67 78 



Breese Derambure Maj 



11.56:05 22-12-2005 



26 /56 



WO 2005/001758 PCT/FR2004/001627 

22 

• La f lability de 1 ' information : cette valeur permet 
de mesurer la stability dans le temps de 1 ' information 
memorisee. Bile se calcule selon la formule x 

Soit e l'erreur mesuree 

5 

FiabUtUS^ - FiabiUti n *n + \-e 
n + 1 



15 



20 



Si ValAbsCFiabilite^ - Fiabilit6 a ) > e , alors n = n 

+ 1. 

10 

La fiabilite globale d'un souvenir se calcule en 
effectuant la moyenne des fiabilites de ses informations. 

Les souvenirs sont automatiquement connectes lors de 
leur creation aux actuateurs presents dans la strate. Ces 
actuateurs sont appeles « actuateurs de strate ». 

Les arbres de calcul necessaires au calcul des ordres 
peuvent utiliser les informations des souvenirs grace a des 
percepteurs specif iques. Ces arbres de calcul sont dits 
generiques, puisqu'ils sont partages par tous les souvenirs. 

L'objet source d'un ordre envoys a un actuateur de 
strate est tou jours la reference du souvenir qui est a 
l'origine de cet ordre. 

Parmi les actuateurs de strate, les « actuateurs 
25 lier .» permettent de creer une liaison vers un souvenir 
cible. Un seul actuateur lie permet de gerer 1' ensemble des 
souvenirs cibles . Ces actuateurs sont des actuateurs 
generiques. A chague creation d'un nouveau souvenir, 
1' actuateur lie correspondant est mis a jour. 

Les liaisons permettent a un souvenir d'en influencer 
un autre, c'est-a-dire de modifier ses informations 
(1' information est alors dite chargee), comme 1' alius tre la 
Figue 8. 



30 
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Les liaisons dont la cible est un souvenir actif ne 
propagent pas leur influence sur ce souvenir. Par contra, 
el les utilisent leur influence pour modifier la couche qui 
va utiliser les souvenirs. Cette modification peut prendre, 
deux formes : 

- la creation d'un objet virtuel : un nouvel objet qui' 
n'exiate pas reellement dans le systeme maitre va etre cree 
et percu par la couche ; 

- la surcharge d'un bloc de traitement s le result at 
d'un bloc de traitement utilise par la couche est remplace, 
le systeme se met alors a jour automatiquement. 

La Figure 9 represente la creation d'un objet virtuel 
par une liaison. 

Le calcul de 1' ensemble des influences est un calcul 
long, d'une complexity de 1'ordre de n*, n etan* le nombre 
de souvenirs . 

Cependant, le systeme est capable de ne gerer que les 
miaes a jour necessaires, correspondant a un changement de 
souvenirs actif s ou a une modification des informations d'un 
souvenir. Ce precede garantit done un traitement incremental 
qui peut 6tre reparti dans le temps. 

25 les strates de souvenirs sont capables de gerer 

automatiquement les ressources memoire gu'elles consomment. 
La creation des souvenirs et des liaisons ayant deja ete 
abordee, un actuateur de strate specif igue appele 
« actuateur oublier » permet de gerer leur destruction. 

II est important de noter que cet actuateur existe, 
qu'il ait ete cree ou non lors de l'etape de conception. Son 
comportement par defaut consiste a eliminer le souvenir 
et/ou la liaison la moins utile. 

L'utilite d'un souvenir depend de deux facteurs 
35 principaux : 



20 
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- 1 ' opportunity calculfie lors de la creation ou 
derniSre mise a jour du souvenir permet de connaitre son 
utility pour le modele decisionnel. 

- le nombre de mises a jour du souvenir pondere par sa 
5 fiability permet de connaitre la « certitude » du souvenir. 

L' utilite d'un souvenir se calcule done selon la 
formula : 

Utilite = (Opportunity * (Fiability) * (Nombre de 
mises a jours) 

10 L' utilite d'une liaison depend de deux facteurs : 

- utilite du souvenir cible 

- opportunity calculfie pour la creation de la liaison, 
qui mesure 1 ' interet de cette liaison pour le modele 
decisionnel . 

15 L' utility d'une liaison se calcule done selon la 

formule : 

Utility - (Opportunity) * (Utility (Souvenir cible)) 



20 



11 est possible lors de l'etape de conception de 
specifier un « actuateur oublier » . Cet actuateur possede un 
seul parametre qui determine un pourcentage de la f iabilite 
du souvenir a. conserver. 

Xi ' invention est decrite dans ce qui prycede a titre 
25 d'exemple- II est entendu que l'homme du metier est a meme 
de realiser differentes variantes de 1 • invention sans pour 
autant sortir du cadre du brevet. 
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RBVKNPICATIOMS 

1. Procede automatique pour la prise de decision par 
un agent virtual ou physique en fonction de variables 
externes provenant d'un environnement decrit par un modele 
numerique ou par des capteurs physiques, et de variables 
internes a 1' agent decrites par des parametres numeriques, 
et des moyens de prise de decision commandant les actions 
dudit agent caracterise en ce que ledit moyen de prise de 
decision determine les paramdtres d'une action au moins 
dudit agent, en fonction d'une partie au moins des variables 
internes ou externes, ladite operation de determination des 
parametres d'une action etant realisee par plusieurs sous- 
processus de decision fonctions chacun d'une partie au moins 
15 desdites variables externes et internes, et traitant une 
partie limitee de la problematique decisionnelle generale, 
les parametres determines par chacun desdits sous-proceesus 
etant traites pour construire 1' ensemble des parametres 
d' action commandant ledit agent. 

20 

2 - Proc^de automatique selon la revendication 1, 
caracterise en ce que certaines variables internes sent des 
valeurs numeriques representatives de la perception. 

25 

3 - Procede automatique selon la revendication 1, 
caracteris6 en ce que certaines variables internes sont des 
valeurs numeriques representatives de la motivation. 

30 4 ~ Procede automatique selon la revendication 1, 

caracterise en ce que certaines variables externes sont des 
valeurs numeriques representatives de 1 'opportunite . 

5 - Precede automatique selon la revendication 1, 
35 caracterise en ce que le calcul des parametres, motivations 
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et opportunity est effectue par un arbre de blocs de 
traitementa, chacun des blocs de traitement correspondant a 
une fonction recevant des variables d' entree comprenant une 
partie des variables internes, et des variables externes et 
5 des variables de sortie d'un ou de plusieurs blocs de 
traitement s amont. 

6 - Procede automatique selon la revendication 5, 
caracterise en ce que lesdits blocs de traitements 



ww« LLaixements 

comprennent des operateurs logiques, des systemes experts et 
des operateurs mathematiques . 

7 - Procede automatique selon la revendication 1, 
caracterise en ce qu'il comports un moyen d' interruption de 
ladite operation de determination des parametres consistant 
a commander 1' action de 1' agent avec les parametres 
determines a partir des sous-processus traites avant 
1 ' interruption. 



25 



20 8 - Proc 6de automatique selon la revendication 7, 

caracterise en ce que 1' activation du moyen d' interruption 
est commandee en fonction de l'etat d'un compteur de 
traitements decrements du cout de cheque bloc de traitement 
utilised 

9 - Precede automatique selon la revendication 8, 
caracterise en ce que le cout d'un bloc de traitement est 
determine par un parametre numerique representatif du temps- 
machine necessaire a 1 'execution du traitement dudit bloc. 

10 - Procede automatique selon la revendication 9, 
caracterise en ce que ledit parametre numerique 
representatif du temps-machine est determine de maniere 
relative par rapport aux coflts d'une partie au moins des 
autres blocs. 
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car A 1 .~, PrOC6d6 autoi » a ti g ue selon la revendication 7 
caracterise en ce n „ , . . ' 

ce que ledit moyen d • interruption est 
c 0mraa „de pax une fanction du systeme maitre. 

5 caracterir/^^ aUtODlatiqUe selon ^ revendication 7, 
d! !l " " ^'^ C ° mPOrte d6S ^ tape9 ^nterro gat io„ 

d paraaetree pour une action, et deactivation dudit ntoyen 

car Pr ° C6d6 3eion la revendication 7, 

Z I Sn ° e qU ' Al COn,P ° rte dSS ^ordonnance^en 

15 S °—P-~ Par ordre decroissant de 1 < activation . 

14 ~ Precede automatigue selon la revendication 7 

*e 1 etat des arbres de calcul, des actuateurs et des sous- 

processus lors de 1 ' interruption et d e «, ™ 
-> n _ . ^uption, et des moyens pour la 

20 poursuxte du processus decisional a partir des infoZ 

enregistrees. eS inforaa tions 

oaracteril/ 170 ^^ S * lon 1- indication 1, 

25 partir d " " ^ PlU8ieU " -nt commandes a 

partir d'un .odele decisionnel cenmun, ledit m odele 

lJorTt nn C ! mP ° rtant ^ — -enregistrement des 
informations specif igues a chacun des agents. 

30 " " Proc * d « automatigue selon la revendication 1 

30 caracterise en ce ouMi 

ce gu ii ne comport e pas d'et«««= 

modele decisionnel. 
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17 - Procede automat ique selon la revendication 1, 
caracterise en ce qu'il comporte des moyens de traitement 
des dependances logiques entre les sous -processus . 

S 18 - Procfide automatique selon la revendication 17, 

caracterise en ce que ledit moyen de traitement des 
dependances logiques consiste a modifier 1' activation du (ou 
des) sous-processus maitre(s) en fonction de la plus haute 
activation des sous-processus dependants. 
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19 - Procede automatique selon la revendication l, 
caracterisS en ce qu'il realise le traitement de variables 
externes multivaluees issues de differents objets percus de 
1 ' environnement . 

2 0 - ProcSdS automatique selon la revendication 5, 
caracterisS en ce que les valeurs de sortie d'un bloc de 
traitement sont memorisees au cours du cycle de traitement 
si elles sont utilisees par un autre sous-processus. 

21 - ProcedS automatique selon la revendication 20, 
caraoterisS en ce que lesdites valeurs de sorties sont 
enregistrees dans une memoire commune a plusieurs blocs de 
traitement . 

22 - Procede automatique selon la revendication 21, 
caracterise en ce qu'il comporte un moyen de recalculer une 
ou plusieurs sorties d'un bloc de traitement dans le cas ou 
la memoire commune est saturee. 

23 - Procede automatique selon la revendication 1, 
caracterise en ce qu'il comporte un moyen de realisation 
d'un niveau de detail comportemental . 
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24 - ProcedS automatique selon la revendication l 
caracterise en ce qu'il cemporte un m4canisme d ' adaptation 
convergent quelle que ao it la nature du signal 
d ' apprentissage . 

25 - Precede automatique aelon la revendication 24 
caracterise en ce que 1 > apprentissage est realise par un 
processus stochastique base sur la distribution de FISK. 

26 - ProcedS automatique selon la revendication 1 
caracterise en ce qu'il comports des moyens de regroupement 
et d'enregistrement de souvenirs constitues d • informations 
correspondant a des perceptions ou a des resultats d'arbres 
de calcul. 

27 - Precede automatique selon la revendication 26 
caracterise en ce qu'il comporte une etape de regroupeznent 
des souvenirs sous forme de strates. 

28 - Precede automatique selon la revendication 26 
caracterise en ce qu'il comporte une etape de reconnaissance 
consistant a selectionner lea souvenirs actifs. 

29 - Precede automatique selon la revendication 28, 
caracterise en ce qu'il comporte une operation de creation 
d'un nouveau souvenir dans le cas d'absence de 
reconnaissance parfaite. 

30 - Precede automatique selon la revendication 28, 
caracterise en ce qu'il comporte une operation de miss a 
jour des souvenirs actifs par remplacexnent des informations 
memorisees par l'etat des informations calculees. 
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31 - Proc6d6 automatique selon la revendication 30, 
caracterise en ce qu'il comporte une operation de calcul de 
la fiabilite des informations des souvenirs mis a jour. 

32 - Procede automatique selon la revendication 2 7,; 
caracterise en ce qu'il comporte des moyens de connexion 
entre les souvenirs et les actuateurs de la strata. 

33 - Procede automatique selon la revendication 32, 
caracterise en ce que la connexion s'effectue grace a dea 
arbres de calcul generiques, communs a tous les souvenirs et 
utilisant les informations du souvenir. 



15 



20 



25 



34 - Procede automatique selon la revendication 26, 
caracterise en ce qu'il comporte des moyens de liaison entre 
les souvenirs pour la creation des influences entre les 
souvenirs . 

35 - Procede automatique selon la revendication 34, 
caracterise en ce qu'il comporte une etape de propagation 
des influences entre les souvenirs par le biais de liaisons. 

36 — Procede automatique selon la revendication 35, 
caracterise en ce qu'il comporte une optimisation des raises 
a jour des influences limitees aux influences ayant subie 
une alteration. 



37 - procede automatique selon la revendication 35, 
caracterise en ce qu'il comporte une etape de transmission 

30 des informations modifiees au reste du modele decisionnel. 

38 - Procede automatique selon la revendication 37, 
caracterise en ce qu'il comporte un moyen de transmission 
des informations modifiees par la creation d'un objet 

35 virtuel. 
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39 - Precede automatique selon la revendication 3 7 

da ^formations modifiees par la surcharge du resultat d'un 
5 bloc de traitement. 

40 - Precede automatique selon la revendication 26 
caracterise en ce qu'il comports un mecanisme de gestion 

automatique du nombre de souvenirs „mh^ 

uvenirs utilises consistant a 
supprimer le souvenir le moins utile. 



41 - Precede automatique selon la revendication 40 
carac^rise en ce que ledit mecanisme de gestion automatique 
du nombre de souvenirs est personnalisable lors de 1'etape 
15 de conception. 

42 - Precede automatique selon la revendication 35 
caracterise en ce qu'il oomporte un mecanis.e de gestion 
automa ti que du nombre de liaisons utilisees consistant a 
20 supprimer la liaison la moins utile. 
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Figure 6 
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